메뉴

#소형 모델

HN
Hacker News • 9일 전
IMP 7

4B 모델 학습으로 Postgres보다 81% 빠른 쿼리 플랜 생성

쿼리 옵티마이저의 핵심 과제인 조인 순서 결정(join ordering)은 NP-hard 문제로 알려져 있지만, 실행 시간이라는 명확한 기준이 있어 검증이 쉽습니다. 저자는 4B 파라미터의 소형 오픈 모델을 SFT와 에이전틱 강화학습(RL)로 후훈련(post-training)하여 Postgres 기본 옵티마이저보다 빠른 쿼리 플랜을 생성하는 실험을 수행했습니다. 그 결과 조인이 많은 113개 쿼리에서 평균 44.7%의 지연 시간 감소를 달성했으며, 일부 쿼리에서는 최대 81% 빠른 플랜을 생성했습니다.

강화학습 PostgreSQL 쿼리 최적화
HN
Hacker News • 17일 전
IMP 7

데저트 앤트 랩스, 온디바이스에서 구동되는 초고속 로컬 AI 모델 공개

유럽의 AI 연구소 데저트 앤트 랩스(Desert Ant Labs)가 오디오·비전·텍스트용 소형 전문 모델 18종을 공개했습니다. 모든 모델은 기기에서 직접 실행되어 밀리초 단위로 응답하고 운영 비용이 없으며, 월 10만 대의 활성 기기까지 무료로 제공됩니다. 클라우드 API 비용과 프라이버시 문제를 해결하는 온디바이스 AI 접근법으로, 기존 클라우드 모델 대비 최대 10배 빠르고 에너지 소모도 크게 적습니다.

온디바이스 AI 소형 모델 로컬 추론
TC
TechCrunch AI • 108일 전
IMP 8

AI 기업, 저렴한 소형 모델로 눈 돌리다

기존의 '모델이 클수록 좋다'는 AI 업계의 통념이 깨지고, 기업들은 비용 압박으로 인해 소형 모델로 눈을 돌리고 있습니다. 코인베이스 공동 창업자는 80%의 작업이 99% 저렴한 모델로 대체될 것이라 예측했으며, 실제 테스트에서도 품질 손실 없이 비용을 크게 절감한 사례가 확인되었습니다. 이는 AI 경제학을 근본적으로 바꾸고, 막대한 자본을 투자받은 대형 AI 연구소들에게 큰 재정적 타격을 줄 수 있는 중요한 변화입니다.

소형 모델 AI 비용 절감 인퍼런스
LL
r/LocalLLaMA • 168일 전
IMP 4

GLM 소형 모델 출시 계획 없는 듯

AI 커뮤니티에서 GLM-5.1의 소형 모델 출시에 대한 논의가 이루어지고 있으나, 당분간 관련 계획이 없는 것으로 보입니다. 개발자는 에어(Air) 모델과 관련된 허깅페이스(Hugging Face) 토론창을 계속 열어두어 사용자들의 의견을 수렴하고 있습니다. 경량화된 소형 모델을 필요로 하는 실무자들은 관련 동향을 계속 주시할 필요가 있습니다.

GLM 오픈소스 소형 모델